Ученые предложили новый метод обработки видео
Ежедневно в интернете появляется огромное количество видеоконтента, в котором легко потеряться и пропустить важную информацию. Ученые Университета МИСИС совместно с коллегами из НИУ ВШЭ предложили новый метод обработки видео на основе нейронных сетей, который поможет выделять главное из видеороликов и таким образом значительно экономить время. Это особенно актуально для различных областей, где требуется быстрый анализ большого количества видеоматериалов, например, в системах видеонаблюдения, образовательных проектах или на спортивных мероприятиях.
С каждым днем потребление видеоконтента стремительно растет. По данным Cisco Global Networking Trends Report, в 2022 году на видео приходилось более 80% всего интернет-трафика. Поэтому исследователи активно разрабатывают инструменты для автоматизации поиска основной информации среди обилия видео-контента.
С помощью обобщения или суммаризации видео можно сжать исходный контент, сохраняя при этом его основную суть. Существуют два основных подхода: создание статической последовательности ключевых кадров и формирование короткого видеоролика, где важные моменты расположены в хронологическом порядке.
Суть метода, представленного исследователями НИТУ МИСИС и НИУ ВШЭ, основывается на том, что из всего видео выбираются ключевые моменты, а его общая продолжительность уменьшается. Это позволяет сохранить основной контент и при этом сделать видео компактнее*.
«Разработанная модель включает в себя многослойный многоуровневый модуль внимания, похожий на трансформатор, который позволяет одновременно обрабатывать входные элементы и предотвращает замедление, вызванное рекуррентными нейронными сетями, использовавшимися в предыдущих подходах. Особенностью модели является использование позиционного энкодера, который учитывает временную информацию и повышает качество обобщения. Эта технология была протестирована на двух эталонных наборах данных и показала высокую эффективность», — отмечает соавтор исследования Илья Макаров, директор центра искусственного интеллекта НИТУ МИСИС, руководитель группы «ИИ в промышленности» Института AIRI.
Результаты исследования подтвердили, что новая модель обобщения видео дает не только конкурентные результаты, но и превосходит выбранные аналоги. Это открывает новые возможности для использования видеоконтента и делает его более доступным для широкой аудитории.
Об исследовании
Исследование проводилось в рамках стратегического проекта Университета МИСИС «Цифровой бизнес» по программе Минобрнауки России «Приоритет 2030».
Об университете
Университет науки и технологий МИСИС – ведущий вуз страны в области создания, внедрения и применения новых технологий и материалов. Опираясь на вековые традиции признанных в России и мире научных школ, современные образовательные технологии, университет ставит перед собой задачу внести максимальный вклад в развитие экономики за счет прорывных разработок и качественной подготовки специалистов. В научно-исследовательской деятельности Университет МИСИС концентрируется на таких приоритетных направлениях, как металлургия, горное дело, материаловедение, квантовые технологии, биоматериалы и биоинженерия, альтернативная энергетика, аддитивные и информационные технологии.
В вузе действует 45 научно-исследовательских лабораторий и инжиниринговых центров мирового уровня, в которых работают ведущие российские и зарубежные ученые. В состав университета входит 7 институтов и 6 филиалов – четыре в России и два за рубежом. В вузе более 23 000 обучающихся, 25% студентов – граждане 86 стран. Университет МИСИС сотрудничает более чем с 1600 крупнейшими компаниями России и мира – лидерами в своих отраслях.
Официальный сайт вуза – https://misis.ru/.